home *** CD-ROM | disk | FTP | other *** search
/ Aminet 22 / Aminet 22 (1997)(GTI - Schatztruhe)[!][Dec 1997].iso / Aminet / util / misc / cookietool.lha / cookietool / cdbsplit.c < prev    next >
C/C++ Source or Header  |  1997-10-25  |  11KB  |  351 lines
  1. /*========================================================================*\
  2.  |  File: cdbsplit.c                                   Date: 25 Oct 1997  |
  3.  *------------------------------------------------------------------------*
  4.  |    Split parts off your cookie database, by keyword, by line length,   |
  5.  |       by number of lines, or as groups of "similar" cookies.           |
  6.  | Expected file format is plain text with a "%%" line ending each cookie.|
  7.  |                     See help() for usage notes.                        |
  8.  |                                                                        |
  9. \*========================================================================*/
  10.    
  11. #include <stdio.h>
  12. #include <stdlib.h>
  13. #include <string.h>
  14. #include <ctype.h>
  15. #include "strstuff.h"
  16.  
  17. char version[] = "$VER: cdbsplit 2.2 (25.10.97)";
  18.  
  19. #define FBUFSIZE 16384          /* we'll use larger file buffers */
  20. #define CBUFSIZE 32000L
  21. #define LBUFSIZE 2000
  22. #define NTARGET 10              /* max. number of keywords to search for */
  23. char line[LBUFSIZE];            /* large enough to hold the longest line */
  24. char cbuf[CBUFSIZE];            /* large enough to hold one complete cookie */
  25. char cbak[CBUFSIZE];            /* backup of the last cookie, to find groups */
  26. char uppercase[256];            /* conversion table */
  27.  
  28. int l_min = 1, l_max = 0, w_min = 1, w_max = 0;
  29. long n_min = 1, n_max = 0;
  30. int matchlen = 0;
  31. char *rtarget[NTARGET];         /* required keywords */
  32. char *otarget[NTARGET];         /* optional keywords */
  33. int required = 0, optional = 0;
  34.  
  35.  
  36. /* 
  37.  * print a help text and nag about illegal parameter <s> 
  38.  */
  39. void help( char *s )
  40. {
  41.   if( s )
  42.     printf( "illegal option '%s'\n", s );
  43.   printf( "usage:  cdbsplit [options] <cookiefile> <newfile>\n" );
  44.   printf( "where options are:\n" );
  45.   printf( " -k<keywd> / -K<keywd>  search for optional / required keyword\n" );
  46.   printf( " -l<lines> / -L<lines>  range for number of lines in a cookie\n" );
  47.   printf( " -w<width> / -W<width>  range for cookie line width\n" );
  48.   printf( " -n<no.>   / -N<no.>    range of cookie numbers\n" );
  49.   printf( " -m<m>     extract groups of cookies with <m> matching chars\n" );
  50.   printf( " -d[0-3]   how fussy about word delimiters? (default: 2) \n" );
  51.   printf( " -c        case sensitive comparisons\n" );
  52.   printf( " -x        extract only, do not modify the input file\n" );
  53.   printf( " -a        append to an existing output file\n" );
  54. }
  55.  
  56.  
  57.  
  58. int dispatch( char *cookie, int good, FILE *fp2, FILE *fp3 )
  59. {
  60.   long result = 1;
  61.   
  62.   if( good )
  63.     result = fprintf( fp2, "%s%%%%\n", cookie );
  64.   else if( fp3 )
  65.     result = fprintf( fp3, "%s%%%%\n", cookie );
  66.   if( result <= 0 )
  67.     {
  68.       printf( "\nfile error, aborted !!!\n" );
  69.       exit( 20 );
  70.     }
  71.   return good ? 1 : 0;
  72. }
  73.  
  74.  
  75. long filter_cookies( FILE *fp1, FILE *fp2, FILE *fp3 )
  76. /* scatter contents of <fp1> across <fp2> (hitfile) and <fp3> (dumpfile),
  77.  * return value is the number of cookies in the dumpfile
  78.  */
  79. {
  80.   long count = 0, hits = 0, cbuflen;
  81.   int ok = 0, ok2, lines, width, w, i;
  82.  
  83.   strcpy( cbak, "" );
  84.   strcpy( cbuf, "" );
  85.   cbuflen = lines = width = 0;
  86.   while( fgets( line, LBUFSIZE, fp1 ) )
  87.     {
  88.       if( strncmp( line, "%%", 2 ) == 0 )
  89.         {                       /* "end of cookie"-marker */
  90.           count++;
  91.           /* perform the checks: */
  92.           if( matchlen )        /* "similar cookies" mode */
  93.             {
  94.               ok2 = ok;
  95.               ok = (strn_cmp( cbak, cbuf, matchlen ) == 0);
  96.               if( *cbak )       /* skip the first loop */
  97.                 hits += dispatch( cbak, ok || ok2, fp2, fp3 );
  98.               strcpy( cbak, cbuf );
  99.             }
  100.           else                  /* standard mode */
  101.             {
  102.               ok = (lines >= l_min && width >= w_min && count >= n_min);
  103.               if( l_max )
  104.                 ok = ok && ( lines <= l_max );
  105.               if( w_max )
  106.                 ok = ok && ( width <= w_max );
  107.               if( n_max )
  108.                 ok = ok && ( count <= n_max );
  109.               if( ok )          /* string checks still necessary? */
  110.                 {
  111.                   if( required == 0 && optional > 0 )
  112.                     ok = 0;
  113.                   for( i = 0; i < required; i++ )
  114.                     ok = ok && (str_str( cbuf, rtarget[i] ) != NULL);
  115.                   for( i = 0; i < optional; i++ )
  116.                     ok = ok || (str_str( cbuf, otarget[i] ) != NULL);
  117.                 }
  118.               hits += dispatch( cbuf, ok, fp2, fp3 );
  119.             }
  120.           if( count % 100 == 0 )
  121.             {
  122.               printf( "%ld hits/%ld misses.\r", hits, count - hits );
  123.               fflush( stdout );
  124.             }
  125.           strcpy( cbuf, "" );   /* start a new cookie */
  126.           cbuflen = lines = width = 0;
  127.         }
  128.       else                      /* add a line to the current cookie */
  129.         {
  130.           w = strlen( line );
  131.           if( (cbuflen += w) >= CBUFSIZE )
  132.             {
  133.               printf( "\ncookie too big (>%ld chars) \n", CBUFSIZE );
  134.               exit( 20 );
  135.             }
  136.           strcat( cbuf, line );
  137.           lines++;
  138.           if( w > width )
  139.             width = w;
  140.         }
  141.     }
  142.   if( matchlen )                /* one cookie still pending in this mode */
  143.     hits += dispatch( cbak, ok, fp2, fp3 );
  144.   printf( "Done, %ld hits out of %ld\n", hits, count );
  145.   return (count - hits);
  146. }
  147.  
  148.  
  149.  
  150. void confirm_options()
  151. /* tell the user what his options will do */
  152. { 
  153.   int flags, i;
  154.   
  155.   if( matchlen )
  156.     printf( "  searching for groups of cookies with "
  157.             "%d matching characters.\n", matchlen );
  158.   else
  159.     {
  160.       flags = 0xf;              /* what restrictions do apply? */
  161.       if( optional + required > 0 )
  162.         {
  163.           printf( "  search string%s: ", (optional + required > 1) ? "s" : "");
  164.           if( required > 1 && optional > 0 )
  165.             printf("(");
  166.           if( required > 0 )
  167.             {            
  168.               printf( "\"%s\"", rtarget[0] );
  169.               for( i = 1; i < required; i++ )
  170.                 printf( " && \"%s\"", rtarget[i] );
  171.             }
  172.           if( required > 1 && optional > 0 )
  173.             printf(")");
  174.           if( required > 0 && optional > 0 )
  175.             printf(" || ");
  176.           if( optional > 0 )
  177.             {
  178.               printf( "\"%s\"", otarget[0] );
  179.               for( i = 1; i < optional; i++ )
  180.                 printf( " || \"%s\"", otarget[i] );
  181.             }
  182.           printf( "\n" ); 
  183.         }
  184.       else
  185.         flags ^= 1;
  186.       if( l_max )
  187.         printf( "  looking for cookies %d - %d lines long.\n", l_min, l_max );
  188.       else if( l_min > 1 )
  189.         printf( "  looking for cookies at least %d lines long.\n", l_min );
  190.       else
  191.         flags ^= 2;
  192.       if( w_max )
  193.         printf( "  looking for cookies %d - %d columns wide.\n", w_min, w_max );
  194.       else if( w_min > 1 )
  195.         printf( "  looking for cookies at least %d columns wide.\n", w_min );
  196.       else
  197.         flags ^= 4;
  198.       if( n_max )
  199.         printf( "  considering cookies #%ld - #%ld only.\n", n_min, n_max);
  200.       else if( n_min > 1 )
  201.         printf( "  starting at cookie #%ld.\n", n_min );
  202.       else
  203.         flags ^= 8;
  204.       if( flags == 0 )
  205.         printf( "  no restrictions.\n" );
  206.     }
  207. }
  208.  
  209.  
  210. int main( int argc, char *argv[] )
  211. {
  212.   char *s;
  213.   char *name1 = NULL, *name2 = NULL, *name3 = "cdb_temp_kickme";
  214.   int append = 0, move = 1;
  215.   int case_sense = 0, bordermode = 2;
  216.   long dumped;
  217.   FILE *infile, *hitfile, *dumpfile;
  218.  
  219.   if( argc < 3 )
  220.     {
  221.       help( NULL );
  222.       return 5;
  223.     }
  224.   while( --argc )
  225.     {
  226.       s = *++argv;
  227.       if( *s != '-' )
  228.         {
  229.           if( name1 == NULL )
  230.             name1 = s;
  231.           else       
  232.             name2 = s;
  233.         }
  234.       else
  235.         {
  236.           s++;
  237.           switch( *s++ )
  238.             {
  239.             case 'k':
  240.               if( optional < NTARGET )
  241.                 otarget[ optional++ ] = s;
  242.               break;
  243.             case 'K':
  244.               if( required < NTARGET )
  245.                 rtarget[ required++ ] = s;
  246.               break;
  247.             case 'm':
  248.               matchlen = atoi( s );
  249.               break;
  250.             case 'l':
  251.               l_min = atoi( s );
  252.               break;
  253.             case 'L':
  254.               l_max = atoi( s );
  255.               break;
  256.             case 'w':
  257.               w_min = atoi( s );
  258.               break;
  259.             case 'W':
  260.               w_max = atoi( s );
  261.               break;
  262.             case 'n':
  263.               n_min = atol( s );
  264.               break;
  265.             case 'N':
  266.               n_max = atol( s );
  267.               break;
  268.             case 'a':
  269.               append = 1;
  270.               break;
  271.             case 'x':
  272.               move = 0;
  273.               break;
  274.             case 'c':
  275.               case_sense = 1;
  276.               break;
  277.             case 'd':
  278.               if( isdigit( *++s ) )
  279.                 bordermode = atoi( s );
  280.               else
  281.                 {
  282.                   help( argv[0] );
  283.                   return 5;
  284.                 }
  285.               break;
  286.             default:
  287.               help( argv[0] );
  288.               return 5;
  289.             }
  290.         }
  291.     }
  292.   str_setup( bordermode, case_sense ); /* !!! */
  293.   if( name1 == NULL || name2 == NULL )
  294.     {
  295.       help( NULL );
  296.       return 5;
  297.     }
  298.   if( !(infile = fopen( name1, "r" ) ) )
  299.     {
  300.       printf( "Can't open '%s' for input!\n", name1 );
  301.       return 10;
  302.     }
  303.   setvbuf( infile, NULL, _IOFBF, FBUFSIZE );
  304.   if( !append && (hitfile = fopen( name2, "r" )) )
  305.     {
  306.       printf( "Error: '%s' exists!  Use -a to append.\n", name2 );
  307.       return 10;
  308.     }
  309.   if( !(hitfile = fopen( name2, "a" )) )
  310.     {
  311.       printf( "Can't open '%s' for output!\n", name2 );
  312.       return 10;
  313.     }
  314.   setvbuf( hitfile, NULL, _IOFBF, FBUFSIZE );
  315.   if( move )
  316.     {
  317.       if( !(dumpfile = fopen( name3, "w" ) ) )
  318.         {
  319.           printf( "Can't open '%s' for output!\n", name3 );
  320.           return 10;
  321.         }
  322.       setvbuf( dumpfile, NULL, _IOFBF, FBUFSIZE );
  323.     }
  324.   else
  325.     dumpfile = NULL;
  326.   printf( "CdbSplit " );           
  327.   print_strstat();
  328.   printf( "%sing from '%s' to '%s',\n", move ? "Mov" : "Copy", name1, name2 );
  329.   confirm_options();            
  330.   /* OK, here we go: */
  331.   dumped = filter_cookies( infile, hitfile, dumpfile );
  332.   fclose( infile );
  333.   fclose( hitfile );
  334.   if( move )
  335.     {
  336.       fclose( dumpfile );
  337.       if( remove( name1 ) != 0 || rename( name3, name1 ) != 0 )
  338.         {
  339.           printf( "Couldn't overwrite the input file!  Your cookies are in '%s'.\n", name3 );
  340.           return 5;
  341.         }
  342.       if( dumped == 0 )
  343.         {
  344.           remove( name1 );
  345.           printf( "'%s' is now empty and has been deleted.\n", name1 );
  346.         }
  347.     }
  348.   return 0;
  349. }
  350.  
  351.